Nguồn gốc của Nhạc viện là Trường âm nhạc quốc gia Thượng Hải được Thái Nguyên Bồi và Tiêu Hữu Mai thành lập ngày 27 tháng 11 năm 1927. Đây đã là trường đào tạo sau phổ thông đầu tiên ở Trung Quốc.Trường đã được đổi tên nhiều lần: Trường đào tạo âm nhạc quốc gia (1929), Phân hiệu Nhạc viện quốc gia (1943), Trường đào tạo âm nhạc Thượng Hải (1945), Phân hiệu Nhạc viện Trung Quốc tại Huadong và Thượng Hải (đầu thập niên 1950). Năm 1956 trường có tên là Học viện âm nhạc Thượng Hải như ngày nay.